机器学习---熵，信息增益，信息增益率

熵

熵在信息论中被用来度量信息量，熵越大，所含的有用信息越多，其不确定性也就越大；熵越小，有用信息越少，确定性也就越大。
决策树中，用熵来表示样本集的不纯度，样本集中样本种类越小，确定性越高，熵值越小；样本种类越多，越不确定，熵值越大。

熵例子

设S是数量为n的样本集，其分类属性有n个不同的取值，用来定义m个不同的分类Ci(i=1,2,⋯,m)，则其熵的公式是：

如果有一个大小为10的布尔值样本集Sb，其中有6个真值，4个假值，那么该布尔型样本分类的熵是：

信息增益

计算得到熵作为衡量样本集合不纯度的指标后，就可以计算信息增益——分支属性对于样本集分类好坏程度的度量。
分裂后样本集的纯度提高，样本集的熵降低，熵降低的值即为该分裂方法的信息增益。
设S为样本集，属性A具有v个可能取值，即通过将属性A设置为分支属性，能够将样本集S划分为v个子样本集{S1,S2,⋯,Sv}。对于样本集S，如果以A为分支属性的信息增益Gain(S,A)，计算公式如下：

信息增益率

设S为样本集，属性A具有v个可能取值，即通过将属性A能够将样本集S划分为v个子样本集{S1,S2,⋯,Sv}，Gain(S,A)为信息增益，则属性A的信息增益率Gain_ratio定义为：

当v比较大时，信息增益率会明显降低。